Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
记忆投毒下的效用崩塌：内容筛查与溯源排序的边界
🧭 Agent 记忆投毒与溯源检索防御
Quantify Labs Ltd
1.2%记忆投毒使LongMemEval准确率从0.850降至0.300，内容筛查拦截0/360，溯源加权排序难用
📌 工作参考价值（4 点）
- 在电商/广告 Agent 的持久记忆写入侧，不要仅依赖内容筛查判断断言真假；需要接入外部 grounding（如商品价格、库存、活动规则权威源）才能识别伪造但语义通顺的虚假记忆。
- 检索侧不要使用 additive provenance penalty 或简单给可信来源加权；可在召回阶段对不同 provenance 的文档设置最大占用配额（bounded occupancy / quota），避免低可信源靠语义相似度淹没高可信证据，也避免高权重把低可信但真正携带答案的证据全部排除。
- 评估 Agent 记忆安全时，必须同时构造 mixed-provenance 语料：既看投毒攻击是否成功，也看当真实答案恰好来自 untrusted 来源时系统是否仍可用，否则容易过拟合防御、误伤业务指标。
- 内容筛查对低占比投毒（如 1.2%）不敏感，且对 trigger-laden 良性文本有误判；实际推荐系统中 UGC 或第三方商品描述不可全信，应把来源可信度作为检索约束而非后验过滤。